Meta发布FreeTransformer,模型具备“认知与思考”会怎样?
说白了,他们不是让模型一步步瞎抉择,而是先在“脑子里”定个大方向,再按着这个方向去写东西。技术上怎么做的呢?把原来的 Transformer 稍微改一手,变成带条件的变分自编码器(conditional VAE),在中间某一层塞进一个随机的潜变量 Z。训练时,
模型 meta 潜变量 tr freetransformer 2025-10-28 07:13 5
说白了,他们不是让模型一步步瞎抉择,而是先在“脑子里”定个大方向,再按着这个方向去写东西。技术上怎么做的呢?把原来的 Transformer 稍微改一手,变成带条件的变分自编码器(conditional VAE),在中间某一层塞进一个随机的潜变量 Z。训练时,
模型 meta 潜变量 tr freetransformer 2025-10-28 07:13 5